开放域对话框的自动评估仍然是一个未解决的问题。此外，现有方法与人类注释没有密切相关。本文使用后续行动提出了一种新的自动化评估方法：我们衡量语言模型将继续使用固定的后续行动继续对话的可能性（例如，在这里不真正相关，您想说什么）。与现有的十二种方法进行比较时，我们的新评估与人类评估的最高相关性。
translated by 谷歌翻译
原则上，将变异自动编码器（VAE）应用于顺序数据提供了一种用于控制序列生成，操纵和结构化表示学习的方法。但是，训练序列VAE具有挑战性：自回归解码器通常可以解释数据而无需使用潜在空间，即后置倒塌。为了减轻这种情况，最新的模型通过将均匀的随机辍学量应用于解码器输入来削弱强大的解码器。从理论上讲，我们表明，这可以消除解码器输入提供的点式互信息，该信息通过利用潜在空间来补偿。然后，我们提出了一种对抗性训练策略，以实现基于信息的随机辍学。与标准文本基准数据集上的均匀辍学相比，我们的目标方法同时提高了序列建模性能和潜在空间中捕获的信息。
translated by 谷歌翻译
在计算机视觉的许多领域都探索了对对抗性扰动的鲁棒性。这种鲁棒性在基于视觉的强化学习中尤其重要，因为自主代理在现实世界中的行为可能是安全的或影响力的。我们研究基于视力的强化学习者对基于梯度的对抗攻击并评估潜在防御的敏感性。我们观察到，CNN体系结构中包含的瓶颈注意模块（BAM）可以充当提高对抗性攻击的鲁棒性的潜在工具。我们展示了如何使用学习的注意图来通过将空间激活限制为显着区域来恢复卷积层的激活。在许多RL环境中，BAM增强体系结构在推理过程中表现出更大的鲁棒性。最后，我们讨论潜在的未来研究方向。
translated by 谷歌翻译
分销转移（DS）是一个常见的问题，可恶化学习机器的性能。为了克服这个问题，我们假设现实世界的分布是由基本分布组成的，这些分布在不同域之间保持不变。我们将其称为不变的基本分布（即）假设。因此，这种不变性使知识转移到看不见的域。为了利用该假设在域概括（DG）中，我们开发了一个由门域单位（GDU）组成的模块化神经网络层。每个GDU都学会了单个基本领域的嵌入，使我们能够在训练过程中编码域相似性。在推断期间，GDU在观察和每个相应的基本分布之间进行了计算相似性，然后将其用于形成学习机的加权集合。由于我们的层是经过反向传播的训练，因此可以轻松地集成到现有的深度学习框架中。我们对Digits5，ECG，CamelyOn17，IwildCam和FMOW的评估显示出对训练的目标域的性能有显着改善，而无需从目标域访问数据。这一发现支持了即现实世界数据分布中的假设。
translated by 谷歌翻译